정보과학회 컴퓨팅의 실제 논문지 (KIISE Transactions on Computing Practices)
Current Result Document :
| 한글제목(Korean Title) |
기억재현 지속학습을 활용한 다중 도메인 응답 생성 |
| 영문제목(English Title) |
Multi-Domain Response Generation Using Memory-Replay Continual Learning |
| 저자(Author) |
박형준
홍충선
박성배
송현제
Hyeong-Jun Park
Choong Seon Hong
Seong-Bae Park
Hyun-Je Song
|
| 원문수록처(Citation) |
VOL 49 NO. 03 PP. 0153 ~ 0159 (2022. 03) |
한글내용
(Korean Abstract) |
다중 도메인 응답 생성은 하나 이상의 도메인에 대해 입력되는 발화에 응답을 생성하는 문제이다. 여러 도메인을 대응해야 하는 환경에서 다중 도메인 응답 생성은 기존에 학습된 도메인뿐만 아니라 새로이 추가되는 도메인에 대해서도 적절히 응답할 수 있어야 한다. 기존 연구들은 기학습된 응답 생성 모델에 새로이 추가되는 도메인의 데이터로 미세 조정하였다. 하지만, 위 방법들은 기학습된 도메인에 대해 적절히 응답을 생성하지 못하거나 도메인과 무관한 일반적인 대답을 생성하는 문제가 있다. 본 논문에서는 기억재현 지속학습 기반 다중 도메인 응답 생성 모델을 구축하는 방법을 제안한다. 기억재현 지속학습 기반 응답 생성 모델은 이전 도메인 발화-응답 데이터 중 대표 데이터를 메모리에 저장해두고, 새로운 도메인의 데이터와 메모리에 저장된 데이터를 함께 활용하여 학습한다. 기학습된 도메인 중 일부분을 메모리에 저장 및 학습에 활용하여 새로운 도메인을 위해 모델을 갱신할지라도 도메인에 특화된 대답을 생성할 수 있다. 도메인에 특화된 대표 데이터를 생성하기 위해 본 논문에서는 k-평균 군집화를 활용한다. 실험에서 총 5개 도메인에 대해 순차적으로 학습하고 모든 도메인에 대해 응답을 제대로 생성하는지를 평가하였다. 실험 결과 제안한 응답 생성 모델이 모든 도메인에서 기존 비교 모델보다 우수한 성능을 보였다. 제안한 방법은 각 도메인별 성능 비교에서 비교 모델 대비 최대 4.45 BLEU 성능 향상을 얻었다. 뿐만 아니라 정성적 평가를 통해 제안한 방법이 비교 모델에 비해 도메인에 특화된 응답을 생성하는 것을 확인할 수 있었다. |
영문내용
(English Abstract) |
Multi-domain response generation is the task of generating responses to utterances that cover more than one domain. As the number of domains increases, multi-domain response generation must be able to respond appropriately to newly added domains as well as previously learned domains. However, previous studies based on fine-tuning with a new domain dataset have a problem that involves an inadequate response generation to pre-learned domains or a generation of domainindependent general responses. To solve this problem, the proposed model adopts a memory-replay continual learning to evolve a single-domain response generator to a multi-domain response generator. The model first learns a specific domain and retains some training instances in this domain for the next step. Then, the model is trained again with training instances for a new domain as well as the remaining instances. Since the remaining instances should represent the previous domains, the proposed method selects representative instances using clustering specialized to response generation. Through intensive experiments, the proposed method outperforms the baselines. |
| 키워드(Keyword) |
응답 생성
다중 도메인 응답 생성
기억재현 지속학습
response generation
multi-domain response generation
memory-replay continual learning
|
| 파일첨부 |
PDF 다운로드
|
